Journal Watch

Appearance

A semantic embedding space based on large language models for modelling human beliefs ​

Lee, Aiyappa, Ahn et al. (2025)

DisciplineInterdisciplinary
MethodComputational
Tagsbelief modelingcognitive dissonancedata · digital trace datalarge language modelsmethod · embeddingmethod · machine learningonline behaviorsemantic embedding

Summary ​

Problem: 传统信念研究多依赖针对特定议题的调查数据，难以扩展到数千种信念并捕捉它们之间的细微关系；同时，将新信念纳入已有信念系统（归纳推理）面临重大挑战。作者旨在回答：人类信念选择背后的机制是什么？ Approach: 利用在线辩论平台Debate.org的用户投票记录，将用户的PRO/CON投票转化为信念陈述，通过三元组对比学习微调Sentence-BERT（RoBERTa）模型，构建768维的信念嵌入空间。该空间中信念间的距离反映其语义与社会感知的相关性，并可将个体表示为信念向量的平均值。 Finding: 微调后的信念空间有效捕捉了信念间的关联与极化结构（如上帝、堕胎等议题呈双峰分布）；个体嵌入在空间中按政治与宗教意识形态形成清晰聚类；基于用户嵌入与候选信念间欧氏距离的简单预测模型，在预测用户对新辩论的立场上优于多种基线（F1=0.59），且预测准确率受用户投票历史长度、辩论类别、用户有效半径及相对距离等因素影响。 Significance: 该研究展示了LLM结合集体在线行为记录可为理解信念形成的基本原理提供新工具，突破了调查法的规模限制，为信念动态、极化与认知失调的量化研究开辟了新路径。

Theoretical Framework ​

  • Theoretical tradition: 计算社会科学与认知心理学交叉领域，融合信念系统研究、社会网络扩散模型与自然语言处理。
  • Prior theories built upon: 认知失调理论（Festinger）、信念关联扩散模型（associative diffusion model）、网络不平衡理论、选择性暴露理论。
  • Causal mechanism: 个体倾向于选择与其现有信念系统距离较近的新信念（即认知一致性驱动），信念空间中的欧氏距离作为认知失调程度的代理指标。
  • Key assumptions: 用户的投票行为可有效反映其真实信念；共同投票的信念之间存在正向关联；信念间的语义相似性与社会感知相关性可通过嵌入空间中的几何距离捕捉。
  • Theoretical move: 该论文应用并扩展了认知失调理论——将理论从定性描述转化为可计算的几何模型，同时综合了信念网络研究与LLM表征学习，提出一种新的信念表征范式。
  • Scope conditions: 研究基于美国为中心的DDO数据集，结果可能不适用于其他社会文化背景；仅考虑PRO/CON二元立场，忽略TIE（中立）立场。

Research Design ​

本研究为计算性观察研究（computational observational study），利用已有的在线平台行为数据构建模型并进行预测任务。分析单元为个体用户（N=40,280）及其信念陈述（由辩论标题与PRO/CON立场构成）。关键自变量为用户的先前投票历史（转化为信念向量并平均为用户嵌入），因变量为用户对新辩论的立场选择（PRO/CON）。操作化方式：将投票记录转化为模板化信念陈述（如“I agree with the following: ...”），通过微调S-BERT生成768维嵌入向量。

Data & Sample ​

  • N: 59,986个独特辩论标题，197,306次投票，40,280位独特用户
  • Population: Debate.org（DDO）平台的注册用户，以美国用户为主
  • Country/Region: 美国（US-centric）
  • Recruitment/Data-collection: 利用平台已有的辩论参与与投票记录，以及用户自我报告的政治派别、宗教信仰和48个重大社会议题立场
  • Time period: 未明确说明具体时间范围（N/A）
  • Data source: Debate.org在线辩论论坛

Analytical Strategy ​

  • 模型构建: 使用三元组损失函数微调Sentence-BERT（RoBERTa-base），通过投票共现字典采样正负样本对
  • 评估方法: 三元组评估任务（区分正负信念对）、GLUE-STSB语义相似性基准、5折交叉验证
  • 预测任务: 二元信念分类——基于用户嵌入与PRO/CON信念向量的欧氏距离，选择距离更近的立场
  • 基线比较: 随机选择、多数选择、未微调S-BERT、微调/未微调BERT、Llama2-13b-chat（few-shot）
  • 因素分析: 考察用户投票历史长度、辩论类别、用户有效半径、相对距离（dmin/dmax）对预测准确率的影响
  • 稳健性检验: 使用UMAP降维验证聚类结构；比较不同模板变体对嵌入的影响（见SI）

Results & Findings ​

  1. 信念空间结构: 整体信念分布呈平滑单峰，但特定议题（如上帝、堕胎、同性婚姻）的信念呈双峰极化分布，且极化方向与政治意识形态对齐（如PC1轴区分自由派/保守派立场）。非政治性议题（如PlayStation、Harry Potter）的聚类出现在更高阶PC轴上。
  2. 个体聚类: 仅基于投票记录的平均信念向量即可将用户按自报政治派别（民主党/共和党）和宗教意识形态（基督徒/无神论者）清晰分离，且微调后模型比未微调模型分离更明显。PRO/CON用户群体质心距离与48个重大议题的自报极化程度显著正相关（r=0.627, P<0.001）。
  3. 信念预测: 微调S-BERT模型在预测用户对新辩论立场上取得最高F1=0.59（σ=0.01），优于所有基线和Llama2。预测准确率随用户投票历史长度增加而单调上升；不同辩论类别间准确率差异显著；用户有效半径（信念多样性）与准确率呈负相关趋势；当dmin较小且dmax较大时（即用户与一方立场很近、与另一方很远），预测准确率最高。
  4. 意外发现: 部分议题（如禁烟、平权行动）的用户群体分离不明显，作者推测这些议题不完全对齐于自由-保守光谱，可能受其他因素（如种族）影响。

Limitations ​

  • 数据以美国用户为主，结果可能不适用于其他社会文化背景
  • 仅考虑PRO/CON二元立场，忽略TIE（中立）投票
  • 用户参与度高度偏斜，多数用户投票历史很短，限制预测性能
  • 整体F1分数（0.59）不高，表明信念预测仍有较大改进空间
  • 辩论类别的多样性对预测构成挑战
  • 信念陈述通过模板生成，可能无法完全捕捉原始辩论标题的语义细微差别

Key Contributions ​

  • 提出一种基于LLM微调与对比学习构建通用信念嵌入空间的新框架，突破调查法的规模限制
  • 实证验证信念空间能有效捕捉信念间的关联结构、极化模式及意识形态对齐
  • 展示个体嵌入在信念空间中的聚类与极化现象，与自报意识形态高度一致
  • 开发并验证基于距离的信念预测模型，为认知失调理论提供可计算的量化工具
  • 系统分析影响信念预测准确率的四个关键因素，为后续研究提供方法论指导
  • 开源方法可推广至其他在线行为数据，促进跨领域信念研究

Key Claims ​

"We propose a method to study the nuanced interplay between thousands of beliefs by leveraging an online user debate data and mapping beliefs onto a neural embedding space constructed using a fine-tuned large language model (LLM)." (Abstract)

"This belief space captures the interconnectedness and polarization of diverse beliefs across social issues." (Abstract)

"Our findings show that positions within this belief space predict new beliefs of individuals and estimate cognitive dissonance based on the distance between existing and new beliefs." (Abstract)

"This study demonstrates how LLMs, combined with collective online records of human beliefs, can offer insights into the fundamental principles that govern human belief formation." (Abstract)

"We show that the distance between beliefs in the belief space is proportional to the likelihood that an individual has one belief given the other." (Results, Generating and validating the belief embedding space)

My Notes ​